最重要的连续符号信道是高斯信道。设输入随机变量为$X_{i}$，输出

$$Y_{i} = X_{i}+Z_{i},\qquad Z_{i} \sim \mathscr{N}(0,N)$$

$Z_{i}$是信号$X_{i}$的噪声。
如果噪声方差为0，那么所有实数X都可被精确传输到对端；如果噪声方差非零，我们可以选取一组有限集合作为输入，从而使得输出端的分辨具有任意小的错误率，信道从而有有限的容量。如果噪声方差为0，那么信道容量为无穷。
最常见的输入限制是功率限制。假设平均功率限制为

$$\frac{1}{n} \sum_{i=1}^n x_{i}^2 \leq P$$

假设希望每次发送1bit，以$\sqrt{ P }$和$-\sqrt{ P }$来发送。接收方接收Y后试图找出哪个是发送的符号。显然最优的方式是看Y的正负性。此时错误率为：

$$\begin{align} P_{e} & = \frac{1}{2} \text{Pr}(Y<0 | X=+\sqrt{ P }) + \frac{1}{2} \text{Pr} (Y>0| X=-\sqrt{ P }) \\ & = \frac{1}{2} \text{Pr}(Z< -\sqrt{ P } | X=+\sqrt{ P}) + \frac{1}{2} \text{Pr} (Z> \sqrt{ P } | X=- \sqrt{ P }) \\ & = \text{Pr}(Z>\sqrt{ P }) \\ & = 1-\Phi \left( \sqrt{ \frac{P}{N} } \right) \end{align}$$

where

$$\Phi(x) = \int _{-\infty }^x \frac{1}{\sqrt{2\pi }} e^{-t^2/2} \, dt$$

类似的，我们还可以把幅度分为4份/8份等等，分的份数越多每次传输信息越多，但是误码率也越大。

具有功率限制P的高斯信道的信息容量（Information Capacity）定义为：

$$C= \max _{p(x) : EX^2 \leq P} I(X;Y)$$

$$\begin{align} I(X;Y) & = h(Y) - h(Y|X) \\ & = h(Y) - h(X+Z|X) \\ & = h(Y)-h(Z|X) \\ & = h(Y)-h(Z) \end{align}$$

由于Z和X独立，$h(Z) = \frac{1}{2}\log 2\pi eN$

$$EY^2 = E(X+Z)^2 = P+N$$

由之前结论，$Y$的熵被限制在$\frac{1}{2} \log 2\pi e(P+N)$之内。
从而

$$\begin{align} I(X;Y) & = h(Y)-h(Z) \\ & \leq \frac{1}{2}\log 2\pi e(P+N) - \frac{1}{2}\log 2\pi eN \\ & = \frac{1}{2}\log \left( 1+\frac{P}{N} \right) \end{align}$$

$$C = \max _{EX^2\leq P} I(X;Y) = \frac{1}{2} \log \left( 1+\frac{P}{N} \right)$$

取得最大值条件为$X\sim \mathscr{N}(0,P)$

这个capacity还是信道可达到的最大传输速率。

直观描述：发送码长为n时功率限制为：

$$x_{1}^2+x_{2}^2 +\dots +x_{n}^2 = nP$$

于是所有点落在$\sqrt{ nP }$的n维球面内，设球体体积公式$V_{n}(r) = A_{n}r^n$
此时噪声的作用相当于将球内的点变到附近半径$\sqrt{ nN }$范围内。
为了实现准确传输，大球所能容纳的小球个数

$$\text{num} = \frac{A_{n}(\sqrt{ n(P+N) })^n}{A_{n} (\sqrt{ nN })^n} = 2^{1/2 \log (1+P/N)}$$

Band limited channels

A common model for communication over a radio network or a telephone line is a band-limited channel with white noise.这是一种连续时间信道。输入和输出之间的关系为

$$Y(t) = (X(t)+Z(t)) *h(t)$$

$X(t)$是信号波形，$Z(t)$是高斯白噪声波形，$h(t)$为理想带通滤波器的阶跃响应，它将所有高于频率$W$的频率全部去除。我们依据简单论证给出这种信道的容量。

Theorem 10.3.1 设信号$f(t)$带宽被限制在W内，即$f(t)$的频谱在大于W的部分为0.那么$f(t)$函数完全由每隔 $\frac{1}{2W}$秒对该函数的采样点决定。

$$\begin{align} f(t) & = \frac{1}{2\pi} \int _{-\infty}^\infty f(\omega) e^{i\omega t} d\omega \\ & = \frac{1}{2\pi} \int _{-2\pi W}^{2\pi W} F(\omega)e^{i\omega t} \, d\omega \\ \\ f\left( \frac{n}{2W} \right) & = \frac{1}{2\pi} \int _{-2\pi W}^{2\pi W} F(\omega) e^{i\omega n/2W} \, d\omega \end{align}$$

左侧即为$F(\omega)$的傅里叶展开系数（假设对$F(\omega)$进行了周期延拓，是个周期函数，$-2\pi W\leq\omega\leq 2\pi W$）
即

$$F(\omega) = \sum_{n=-\infty}^\infty f\left( \frac{n}{2W}\right) e^{-i \frac n {2W} \omega} \qquad -2\pi W\leq\omega\leq 2\pi W$$

$F(\omega)$唯一确定，从而函数$f(x)$是唯一确定的。

考虑函数$\text{sinc}(t) = \frac{\sin(2\pi Wt)}{2\pi Wt}$，这个函数在t=0时是1，$t=\frac{n}{2W}$为0，谱只分布在$(-W,W)$内且为常数。
定义

$$g(t) = \sum_{n=-\infty}^\infty f\left( \frac{n}{2W}\right) \text{sinc}\left( t-\frac{n}{2W} \right)$$

根据sinc函数特性，$g(t)$谱限制在W内，且$g\left( \frac{n}{2W} \right)=f(\frac{n}{2W})$，因此$g(t)=f(t)$。这是根据采样值显式表达$f(t)$的方式。

如果函数局限在一个频带内，那么它在时域内就是非局限的。单我们可以考虑那些绝大多数能量在带宽W内、同时绝大多数能量在有限时间段内，例如$(0,T)$。我们可以通过一个叫做prolate spheroidal functions。简而言之，大约有$2TW$个正交基满足：几乎局限在某一时域和某一频域内。我们可以用这组基底表述任意满足该条件的函数。
Noise：Independent and Gaussian，每个样点都是独立同分布的高斯型随机变量。若噪声有功率谱密度$\frac{N_{0}}{2}$,带宽$W$,那么噪声功率为$\frac{N_{0}}{2}\times 2W=N_{0}W$，$T$时间内所有$2WT$个噪声样点具有方差$\frac{N_{0}WT}{2WT}=\frac{N_{0}}{2}$。将输入看成是$2TW$维向量空间的元素，我们看到接收信号球状正态分布在该点附近，协方差$\frac{N_{0}}{2}I$
于是可以利用离散时间高斯信道的结论$C=\frac{1}{2}\log (1+\frac{P}{N})$。在$[0,T]$时间段内使用信道，此时每个样点功率$\frac{PT}{2WT}=\frac{P}{2W}$，每个样点噪声方差$\frac{N_{0}}{2}2W \frac{T}{2WT}=\frac{N_{0}}{2}$，于是每个样本点的信息容量

$$C=\frac{1}{2}\log \left( 1+ \frac {\frac{P}{2W}}{\frac{N_{0}}{2}} \right) = \frac{1}{2}\log \left( 1+\frac{P}{N_{0}W} \right)\ \ \text{bits/sample}$$

由于每秒有$2W$个样本点，信道信息传输速率

$$C = W \log \left( 1+ \frac{P}{N_{0}W} \right) \ \ \ \text{bit/s}$$

It gives the capacity of a band-limited Gaussian channel with noise spectral density $\frac{N_{0}}{2} \text{watts/Hz}$ and power $P\ \text{watts}$

Let $W\to \infty$, $C=\frac{P}{N_{0}} \log_{2}e \quad\text{bit/s}$

10.4 Parallel Gaussian Channels

假设有多个高斯信道，每个信道噪声$N_{i}$，要求功率和限制为$P$。设给每个信道分配功率$P_{i}$，于是问题成为优化问题：最大化$\sum \frac{1}{2}\log (1+\frac{P_{i}}{N_{i}})$，同时拥有限制$\sum_{i}P_{i}=P$

$$J(P_{i}) = \sum_{i} \frac{1}{2} \log \left( 1+ \frac{P_{i}}{N_{i}} \right) + \lambda \left( \sum P_{i} \right)$$

$$\frac{1}{2} \frac{1}{P_{i}+N_{i}} + \lambda = 0,\qquad P_{i} = \nu-N_{i}\ \text{ for constant }\nu$$

由于功率非负，可能找不到这种形式的解。最终，我们可以使用watter-filling的方式找出功率分配的最佳方式，如图所示。

10.5 Channels with Colored Gaussian Noise

现在考虑噪声之间具有依赖的情形。这不仅表示并行信道的情形，也表示一个具有记忆的高斯噪声的信道。对于有记忆的信道，我们考虑一组连续使用n次信道。这也可看作n个信道平行使用，而噪声是相互关联的。

令$K_{Z}$是噪声的协方差矩阵，$K_{X}$是输入协方差矩阵。输入功率限制为

$$\frac{1}{n}\sum_{i}EX_{i}^2 \leq P$$

或等价地：

$$\frac{1}{n} tr(K_{X})\leq P$$

$$I(X_{1},\dots,X_{n};Y_{1},\dots,Y_{n}) = h(Y_{1},\dots,Y_{n})-h(Z_{1},\dots,Z_{n})$$

当输入X是正态分布时输出Y也是正态分布，这时Y的熵最大。由于输入和噪声独立，$Y$的协方差矩阵$K_{Y}=K_{X}+K_{Z}$，熵为

$$h(Y_{1},\dots,Y_{n}) = \frac{1}{2} \log ((2\pi e)^n |K_{X}+K_{Z}|)$$

于是问题化为选择$K_{X}$，使$h(Y_{1},\dots,Y_{n})$最大，也就是$| K_{X}+K_{Z}|$最大。对$K_{Z}$正交对角化：$K_{Z}=Q\Lambda Q^t$

$$| K_{X}+K_{Z}| = |K_{X}+Q\Lambda Q^t| = |\Lambda+Q^tK_{X}Q| \equiv|\Lambda+A|$$

容易证明$tr(A)=tr(K_{X})=nP$。
使用第九章中的Hadamard's Inequality:任意正定矩阵K的行列式小于等于它的对角线元素之积：

$$| K| \leq \prod_{i}K_{ii}$$

去等当且仅当K对角。于是$|A+\Lambda|\leq \prod_{i}(A_{ii}+\lambda_{i})$，取等当且仅当$A$对角。由于A有trace限制，连乘积在$A_{ii}+\lambda_{i}=\nu$时取得最大值。
同样，由于限制，并不是总能同时满足$A_{ii}> 0$和该条件。此时，通过标准Kuhn-Tucker条件，最优的选择对应于选择

$$A_{ii}= (\nu-\lambda_{i})^+, \qquad \text{choose }\nu\ \ \text{s.t.}\sum_{i}A_{ii}=nP$$

Consider a channel in which the additive Gaussian noise forms stochastic process with finite dimensional covariance matrix $K_{Z}^{(n)}$. If the process is stationary,then the covariance matrix is Toeplitz(每条左上-右下的线上所有元素相等) and the eigenvalues tend to limit as $n\to \infty$. The density of eigenvalues on the real line tends to the power spectrum of the stochastic process. In this case, the above 'water-filling' argument translates to watter-filling in the spectral domain.

Hense for channels in which the noise forms a stationary stochastic process, the input signal should be chosen to be a Gaussian process with a spectrum which is large at frequencies where the noise spectrum is small. The capacity of an additive Gaussian noise channel with noise power spectrum N(f) can be shown to be

$$C=\int \frac{1}{2}\log \left( 1+ \frac{(\nu+N(f))^+}{N(f)} \right) \, df$$

Leave a Comment

Plain Markdown

Post Comment

Markdown Preview